Văn Đức là tướng lãnh trọng yếu cuối đời Nam Tống, thành ra thân thích, cố cựu cũng được hiển hách. Các em trai Văn Hoán, Văn Tín, em họ Văn Phúc, các con trai Sư Quỳ, Sư Mạnh, Sư Thuyết, Sư Đạo, con rể Phạm Văn Hổ, đồng hương Hạ Quý đều là tướng lãnh, hình thành một tập đoàn quân sự ở biên thùy nhà Tống. Do Văn Đức xu nịnh quyền thần Giả Tự Đạo, tập đoàn quân sự này có thể xem là binh lực của riêng Tự Đạo, góp một tay giúp Tự Đạo khuynh đảo triều chính một thời.

Sau khi Văn Hoán dâng Tương Dương cho nhà Nguyên, con cháu họ Lữ nhanh chóng quy hàng, Phạm Văn Hổ, Hạ Quý sau đó cũng lần lượt đầu hàng.